Album phát hành vào ngày 21 tháng 10 năm 2014 thông qua hãng RCA.[10] Tên của album được đặt theo tên bài hát đầu tay của Pentatonix, bài hát gốc duy nhất có trong album.[16][17]

Trong tháng 11 năm 2014, Pentatonix được đạo diễn, nhà sản xuất, nhà văn Baz Luhrmann mời đến dự sự kiện khai trương màn hình Holiday Window của Barneys (một triển lãm gồm những đồ vật được đặt ở các cửa ra vào của trung tâm mua sắm của Barney và được ngăn cách bởi những ô cửa kính khiến chúng trông giống những màn hình) tại thành phố New York. Pentatonix đã biểu diễn trong đêm khai trương một liên khúc các bài hát trong That's Christmas to Me.[18][19]

Vào ngày 27 tháng 11 năm 2014, Pentatonix đã góp mặt trong lễ diễu hành mừng ngày lễ Tạ ơn của Macy (Macy's Thanksgiving Parade) được tổ chức thường niên tại thành phố New York và biểu diễn bài hát "Santa Claus is Coming to Town" trên đoàn xe Homewood Suities.[20][21] Pentatonix cũng biểu diễn bài hát này cùng với bài "Sleigh Ride" trong chương trình đặc biệt Christmas in Rockefeller Center được tổ chức hằng năm của đài NBC vào ngày 3 tháng 12 năm 2014.[22]

Sau đó, Pentatonix trở lại chương trình truyền hình The Sing-Off và biểu diễn một liên khúc các bài hát từ album vào tập đặc biệt cho ngày lễ của mùa thứ 5. Tập này lên sóng vào ngày 17 tháng 12 năm 2014.[23][24]